#эффективность моделей

'Недавние публикации дают грубые оценки энергии на один ответ, но остаются пробелы по мультимодальным нагрузкам, эффективности и будущему спросу'

Исследователи NVIDIA разработали Dynamic Memory Sparsification (DMS) — метод сжатия KV кеша в трансформерах в 8 раз, который улучшает производительность инференса без снижения точности.